今天想看看我的 AI 助理在整合那麼多功能之後,回應速度會不會變慢、準確度會不會下降。算是一次「效能檢測日」。
我設計了三種不同類型的測試題,分別測「知識庫查詢」、「工具調用」和「多輪對話」。
我觀察到整合知識庫和工具之後,AI 的回覆速度會稍慢,但仍在可接受範圍。若同時呼叫兩個以上的工具(像 API + 搜尋),平均回覆時間會多 2~3 秒。Prompt 越長、對話上下文越多,處理時間也會增加。
我學到Dify 在背景會同時處理記憶、RAG 檢索、工具請求,這是速度變慢的主要原因。如果要讓助理「看起來更流暢」,可以考慮先用簡短回覆、再補充細節(像兩段式回答)。效能測試最好的方式是「模擬實際使用」,而不是只看秒數。
心得
今天測試完我覺得我的助理雖然不是最快的,但它的穩定度和回答品質都很好。對我來說,比起秒數,我更重視它有沒有聽懂、能不能自然回覆。而現在的版本已經能在幾秒內完成查詢、整合資訊、保持語氣一致,這對一個「自建的多功能 AI 助理」來說,已經是很不錯的成績。